你不需要长上下文：频繁压缩支持短上下文智能体
🧭 Agent 长上下文压缩与语义状态 ★ 深度解读
NVIDIA
频繁上下文压缩与选择性读取，使长程/长输入任务无需长上下文，准确率基本持平且成本大降
📌 工作参考价值（4 点）
- 在电商推荐/搜索 Agent 的工作流中，将用户会话状态压缩为一段自然语言「semantic state」，每次调用大模型只携带任务描述 + 当前状态，不保留全量对话历史；线上可显著节省 KV cache 和 decode 成本，适合需要多轮筛选/比价的购物助手。
- 对长用户历史、商品详情、评论、规则文档等长输入，用工具化 selective reading：把长文档落在文件系统或检索索引，通过 grep/sed/head 或向量检索按需取证据，避免全量入上下文；可结合 RAG 实现“按需读”，比直接塞 100K 文档更可控。
- 采用 EoCC 式阈值压缩：设定上下文阈值（参考 12K–36K），触发时让模型只保留硬约束、用户偏好、未完成动作和已发现证据，重启新对话；压缩提示要约束长度并聚焦决策相关信息，防止信息丢失。
- 在评测 Agent 时增加效率指标：不只报准确率，同时统计 peak context length、total tokens、每任务成本；可以尝试 single-action compaction，把长程任务建模为状态转移，验证在业务场景是否同样成立。
GACC-Bench：评估大语言模型目标自适应上下文压缩能力
🧭 LLM 上下文压缩评估基准
Fudan University · Huazhong University of Science and Technology · JD.com · Harbin Institute of Technology · The Hong Kong University of Science and Technology (Guangzhou)
提出 GACC-Bench 基准，评估 LLM 在给定高层目标下压缩长上下文时保留目标相关信息的能力，发现与完整上下文仍有显著差距
📌 工作参考价值（4 点）
- Agent 长会话上下文压缩：在电商导购、客服 Agent 等长对话场景中，压缩上下文时显式传入当前用户意图或任务目标，能显著提升压缩后的信息保留质量，减少 token 成本。
- 压缩评估方法可复用：采用“固定 reader + 同一压缩上下文回答多个问题”的评估方式，能更真实地衡量压缩是否保留了目标相关的多角度信息，而非只看单一问答准确率。
- 目标相关性约束：目标引导压缩优于无目标压缩，而错误目标会降低性能，说明业务中需确保压缩时的目标描述与实际下游任务一致，避免引入噪声。
- 多目标分组评估：将同一上下文下的多个问题按共享目标分组，可以检测压缩是否遗漏某个目标维度的信息，适合用于诊断生产环境中压缩策略的薄弱环节。
潜在压缩与测试时训练：可训练 KV Cache 压缩
🧭 LLM 长上下文 KV cache 压缩 · 测试时训练 ★ 深度解读
Tsinghua University
将压缩 KV cache 视为可训练参数，用测试时训练拟合注意力与蒸馏，在 32× 压缩下 RULER 达 96.7%
📌 工作参考价值（4 点）
- 商品详情页、用户长期行为序列、长评论等重复使用的长上下文，可离线预压成可训练 KV cache。模型权重冻结，线上多 query 复用，适合推荐/搜索中大量候选文档场景；但注意论文只考核逻辑 KV-pair 预算，实际物理内存与速度需自行测评。
- 测试时训练不需要下游真实 query：用 480 个通用 prompt 与 teacher 全量 cache 生成 rollouts，就能提供 attention 与蒸馏监督。电商可以模板化商品属性、风格、摘要等通用问题，避免依赖真实用户日志。
- 初始化组合可直接复用：KVZip+ 重建分数选 preserver（占 75% 效果最好）、teacher attention 选 anchor、farthest-first 选 diversifier；ablations 表明 preserver 预算分配对准确率影响最大。
- 若把压缩文档 cache 与后续 query cache 合并，必须按 log-normalizer 加权而不是等权平均，否则准确率几乎归零；attention bias 贡献有限但可保留。
首达注意力机制（First Passage Attention）
🧭 注意力机制 · 选择性上下文擦除
University of Bergen
用路径极值替代累加衰减，实现选择性上下文擦除并压缩 KV cache 到 25% 仍保持长程检索
📌 工作参考价值（4 点）
- 长序列用户行为建模：FPA 的“路径极值”允许选择性擦除中间事件（如误触、临时会话）而保留早期长期偏好，适合电商用户序列编码。
- 多轮 Agent/对话上下文管理：可借鉴其栈式存活 key 机制，在 RAG 长对话中自动丢弃已撤销指令或中间推理，降低噪声并压缩 KV cache。
- 工程优化：FPA 在约 25% KV cache 压缩下保持 8 倍训练长度 passkey 检索，可直接用于长上下文推理降本，对搜索推荐 LLM 服务有实用价值。
- 可尝试将 FPA 头部作为用户序列编码器，替代 additive forget gate，提高对层级事件（加入/删除购物车、订单状态变更）的敏感度。
绕过计算上限：Galahad 字节精确记忆使 LLM 阅读成为一次性成本
🧭 LLM 推理优化 · KV cache 复用
Corbenic AI
Galahad 为 vLLM/SGLang/llama.cpp 提供字节精确 KV 记忆层，将重复文档阅读变成一次性成本
📌 工作参考价值（4 点）
- 搜广推场景中大量 prompt 前缀重复（商品描述、用户历史、知识库、广告素材），可对固定上下文离线预计算 KV 并持久化，在线按需加载，避免每次重算；字节精确匹配 + fail-closed 机制保证缓存不会改变答案，适合线上一致性要求高的场景。
- 对长上下文任务（如用户长期行为序列、商品详情问答），可结合检索式片段注入：Blaise 只把必要片段送入模型，比全量投喂或纯 RAG 更省 token、更准；实验里 100/100 vs 调优 RAGFlow 的 77/100。
- 工程实现上，分段缓存与恢复要校验 bit-identical，避免因缓存错误影响线上 A/B 或模型输出；如果加载校验不过则回退重算，可作为推理网关的通用设计。
- 成本收益可量化：缓存构建的能耗在少量请求后即可收回，适合高频重复查询的电商知识库、活动规则问答、客服机器人等场景。
从扰动公开文档合成训练数据提升大模型上下文学习能力
🧭 LLM 合成数据与上下文学习训练
AllSpark Team
用少量扰动公开文档合成10k上下文推理样本，将35B模型CL-bench从13.7%提升至24.6%，媲美万亿参数模型
📌 工作参考价值（4 点）
- 用于电商知识库/RAG 助手训练：把产品说明、活动规则、广告政策等内部文档做同义改写/扰动，再生成需逐段推理的问答，只保留“去掉文档就答不对”的样本，可低成本造出强迫模型依赖上下文而不是记忆的数据。
- 两阶段训练：SFT 提升基础上下文跟随，再接 rubric-reward RL 用评分准则作奖励，在少量数据（10k）下把小参数 MoE 模型拉到接近大模型；适合业务中无法大规模标注的场景。
- 过滤机制可复用：用改写前后答案变化、引用证据检查等方法自动筛选高质量上下文依赖样本，避免合成数据里混入可通过参数知识回答的“伪上下文”样本；对长商品描述、多轮 Agent 工具结果等场景尤其有价值。
- 观察到的迁移：改进集中在长上下文理解、指令遵循和推理，对代码和知识影响小。如果业务目标是让模型在复杂上下文里做推荐决策/政策合规，可比通用知识注入更精准。
HySparse2：两级 KV 共享的混合稀疏注意力
🧭 长上下文高效稀疏注意力与 KV 共享 ★ 深度解读
Xiaomi LLM-Core
通过两级 KV 共享使 prefill 只跑一半模型，同时提升长上下文检索并降低 KV 缓存
📌 工作参考价值（4 点）
- 在电商/搜索 Agent 场景，工具返回长文本、多轮会话累积导致 prefill 成为主要延迟；可借鉴 self-decoder/cross-decoder 分离：prefill 只执行 self-decoder（约半模型），cross-decoder 的 full-attention KV 由 self-decoder hidden states 投影生成。在 prefill-decode disaggregation 下，prefill 节点只需部署一半权重，显存和算力直接减半。
- 稀疏注意力选择粒度很关键：对多轮 Agent 轨迹、检索历史，token-level top-k 明显优于 block-level（RULER-v2 +6.57、2-needle MRCR-v2 +8.14、GraphWalks +5.55）。如果业务正在用 block sparse 做长上下文召回或会话压缩，且 token-level kernel 可用，应尽早切换；至少在检索关键层保留 token-level。
- 强制最近窗口进入稀疏选择，可以替代单独的 SWA 分支：省掉额外投影参数、局部 KV cache 和级联依赖，使 early exit prefill 成为可能。对需要保留最近会话/商品浏览状态的推荐 Agent，固定保留最近 128 token 是低成本且有效的局部建模。
- KV Bridging 只在 full-attention 层间连接，保留独立投影但共享 source hidden，可以在几乎不损失质量的前提下压缩 KV cache（1M 时 2.69GB vs 6.72GB/12.09GB）。对超长上下文电商 Agent，可考虑用跨层 KV 共享替代或叠加量化压缩。
简单注意力稀疏化：端到端优化上下文排序
🧭 LLM 注意力稀疏化 · 端到端排序
Tencent HY LLM Frontier · Hong Kong University of Science and Technology (Guangzhou) · Hong Kong University of Science and Technology
用连续 selector 分数以 log 形式注入 attention softmax，端到端优化上下文排序，紧预算下大幅超过可训练稀疏注意力基线
📌 工作参考价值（4 点）
- 需为长上下文/Agent 记忆做注意力稀疏化时，不要蒸馏 dense attention：把可训练 selector 的连续分数以 log 形式塞进 attention softmax，用最终 LM loss 端到端更新，排序会更对齐固定预算下的下游效果；推理阶段仍可硬 Top-K。
- 在流式/历史 context 场景（如用户长期行为序列、会话历史）保留 current block 并用 normalized softmax gate 校准历史窗口，可避免新 block 被旧 context 淹没，适合电商推荐/广告文案生成里的长 prompt 组织。
- 训练阶段保留连续 selector score 而非 hard selection，让模型学相对优先级；上线做硬稀疏时可显著提升紧预算下的性能，降低推理 KV cache/attention 成本。
- 开源的 Triton/FlashAttention 融合 kernel 可作为长上下文稀疏训练底座，直接复用到商品描述、用户会话等长文本微调。
CRISP：基于结构质量路由的悬崖感知输入自适应稀疏预填充
🧭 动态稀疏注意力·长上下文预填充优化 ★ 深度解读
University of Oregon · Adobe Research · Hanoi University of Science and Technology
用结构质量代理替代JSD路由，以噪声地板阈值替代累积覆盖阈值，消除长上下文预填充的O(n)噪声积累
📌 工作参考价值（5 点）
- ## 可借鉴点
- 如果电商/Agent 场景中需要对长商品描述、评论、用户会话或多轮记忆做长上下文 LLM 推理加速，prefill 阶段可优先考虑动态稀疏注意力；CRISP 的 Cstruct 路由只需最后 query block 的代理注意力在首尾 anchor 区间做切片，省去 JSD 需要的 pooled matmul 与 KL 开销，工程实现更轻。
- 稀疏 token/block 选择不要用固定累积覆盖（如 top-p 累计 0.95）。有 attention sink 的模型容易早停在 sink 漏掉信号，或为凑阈值收 O(n) 噪声；改为相对噪声地板阈值（如 block 质量 p_j > αμ），α=1.0 可作为免调默认，业务侧更稳。
- 部署时建议加 context length 门限：论文在 8k 时稀疏仍比 dense 慢约 4x，64k 以上才开始反超；短 prompt 服务不必开启稀疏预填充。长上下文 RAG/检索类任务收益最大，聚合/多跳任务需评估精度-覆盖权衡。
- 可复用 VS/PE 双路径思想：对低熵/高集中 head 用结构模式选择，对高熵 head 用 pooled estimation；不要对所有 head 使用同一种稀疏策略。
LatentPress：超越文本与视觉的上下文压缩
🧭 LLM 上下文压缩 · 连续 soft tokens
Cornell University · Iowa State University
将对话历史与长文档压缩为连续 memory tokens，直接输入冻结解码器，无需文本重建，4-16倍压缩且性能优于文本摘要与OCR压缩
📌 工作参考价值（4 点）
- 可借鉴的架构：用一个小 writer 将长对话历史、行为序列、工具调用记录压缩成 continuous memory tokens，作为 frozen LLM 的输入 embedding 直接读取，省去文本重建和检索排序，适合电商对话助手/Agent 的记忆模块。
- 训练成本极低：只训练 4.2M-26.2M 参数的 adapter（约 decoder 0.1%），frozen decoder，可快速迭代，适合业务场景频繁更新。
- 压缩比选择：4-8 倍压缩在 QA 上可匹配或超过 raw context，16 倍明显退化；在线 Agent 历史压缩建议先用 4-8 倍，在时延与精度间取平衡。
- 写入耗时 43ms/对话，读取快 5-9 倍，比文本摘要或 OCR 重建快一个数量级，能满足在线低延迟要求；零样本跨域迁移表现说明 soft tokens 有潜力作为通用行为表征。
窗口化 MTP：消除百万级上下文中的全量草稿 KV 开销
🧭 推测解码 · 长上下文 KV 优化
NVIDIA
对推测解码草稿头施加窗口注意力，训练免费、无损地将长上下文草稿 KV 读取量降低 99%，推理加速 28–44%
📌 工作参考价值（4 点）
- 在长上下文生成式推荐/Agent 中降低延迟：当使用 LLM 生成推荐理由或进行多步推理时，若启用 MTP 推测解码，可直接将草稿头的注意力替换为窗口注意力，保留验证阶段全注意力，实现训练免费、无损的推理加速，尤其适合百万 token 级别的用户行为序列。
- 工程实现简单，即插即用：无需重新训练或调整模型结构，仅需在草稿注意力中添加滑动窗口和注意力槽（StreamingLLM 风格），可立即部署到现有 SGLang 等框架。
- 释放 GPU 显存用于更大批处理：窗口化草稿头可丢弃约 99% 的草稿 KV 缓存（实测占总量 7.7–11%），使用紧凑环形缓冲区回收，不影响接受准确率，支持更高的吞吐。
- 适用于混合注意力目标模型：当主模型使用混合线性注意力（如 Mamba2-hybrid）时，窗口化草稿头可避免其全注意力读取代价成为瓶颈，保持整体加速效果随上下文变长而放大。
DashAttention：可微分自适应稀疏层级注意力
🧭 自适应稀疏层级注意力 · α-entmax 路由 ★ 深度解读
Tsinghua University · Instituto Superior Técnico, Universidade de Lisboa · Carnegie Mellon University · Sapienza University of Rome · University of Edinburgh
用 α-entmax 替代 top-k 实现可微分、自适应块选择，在长上下文任务中同时提升精度与速度。
📌 工作参考价值（4 点）
- 在推荐系统的长用户行为序列中，可借鉴分块摘要 + α-entmax 路由的设计：先学习每个块的轻量表示，再用 α-entmax 动态选择相关块，替代固定 top-k，使模型能按需关注任意数量的历史块，提升长序列建模的灵活性。
- α-entmax 的可微稀疏性让块选择能够端到端训练，避免硬截断带来的梯度断裂，适合需要可学习稀疏门控的生成式推荐（如 Semantic ID 序列建模）或 Agent 记忆检索模块。
- 两阶段“粗筛+细读”范式具有工程复用价值：第一阶段用廉价摘要快速评分，第二阶段仅在保留块内计算完整 token 级注意力，可在推理时大幅降低计算量，同时保持精度，适用于工业级推荐模型的服务优化。
- 论文的局部注意力摘要初始化技巧（从均值池化平滑过渡）及 GPU 友好的 Triton 实现策略（块摘要缓存、位掩码压缩、单次融合 pass）可直接启发推荐系统在处理超长序列时的特征工程和系统实现。